Ông sinh trong một gia đình trung nông tại Đông Tạ, Vĩnh Bảo, Hải Phòng. Ông bắt đầu tham gia hoạt động văn nghệ và cách mạng từ sớm. Năm 1937, ông hoạt động trong Hội Truyền bá Quốc Ngữ, là giảng viên Pháp văn, Hoa văn. Ông từng tham gia đoàn kịch Thế Lữ (với Thế Lữ, Song Kim, Phạm Văn Đôn, Trịnh Như Lương, Trần Đình Thọ...), từng đóng trong các vở Lọ vàng (phỏng theo Lão hà tiện của Molière), Khóc lên tiếng cười (Bùi Huy Phồn). Ông được kết nạp vào Đảng Cộng sản Việt Nam năm 1942.

Sau Cách mạng tháng 8, ông cùng Đặng Thai Mai đứng ra thành lập Ban kịch Hoa Lan, từng công diễn vở Lôi Vũ (Tào Ngu). Kháng chiến bùng nổ, ông tiếp tục tham gia Đoàn kịch Chiến thắng cùng Thế Lữ, Thanh Tịnh, Đoàn Phú Tứ, Song Kim... đi lưu diễn, phục vụ kháng chiến. Tại an toàn khu, ông được cử làm chủ nhiệm tờ báo Cờ giải phóng. Thời gian sau, ở chiến khu Việt Bắc, ông làm việc ở Báo Sự thật - Cơ quan ngôn luận của Đảng Cộng sản Việt Nam. Ông còn là uỷ viên thường vụ Đoàn sân khấu Việt Nam.

Sau khi điện ảnh cách mạng Việt Nam thành lập (15-3-1953), ông giữ chức Giám đốc Doanh nghiệp Quốc gia Chiếu bóng và Chụp ảnh Việt Nam, kiêm tổng biên tập tờ báo Điện ảnh. Sau đó, ông làm giám đốc Xưởng phim Việt Nam, Xưởng Phim truyện Việt Nam (tách ra từ Xưởng Phim Việt Nam, hiện nay tên là Hãng phim truyện Việt Nam) từ 1956 đến 1959. Ông chính là một trong những người góp công đầu trong việc xây dựng nền điện ảnh cách mạng Việt Nam sau này. Trước khi ngành điện ảnh thành lập, ông đã cùng một số nhà điện ảnh Trung Quốc thực hiện bộ phim tài liệu nghệ thuật Việt Nam kháng chiến. Năm 1955, ông lại cùng đạo diễn, Nghệ sĩ Nhân dân Liên Xô Roman Karmen thực hiện bộ phim tài liệu Việt Nam trên đường thắng lợi (được biết với tên gọi Việt Nam sau này).

Năm 1958, ông bắt đầu sự nghiệp đạo diễn bằng bộ phim hài Vườn cam. Những năm sau đó ông thực hiện hàng loạt bộ phim như: Lửa trung tuyến (1961, cùng làm với Lê Minh Hiến), Lửa rừng (1966), Lửa (1969), Sau cơn bão (1970), Kén rể (1975), Khôn dại (1976), Chị Dậu (1980), Làng Vũ Đại ngày ấy (1983), Sẽ đến một tình yêu (1983)... Năm 1984, ông nhận danh hiệu Nghệ sĩ nhân dân đợt 1. Năm 1985, ông nhận Huân chương Độc lập hạng 3.

Gia đình ông đều hoạt động nghệ thuật. Vợ ông là Bích Châu, diễn viên Nhà hát kịch Việt Nam. Con gái ông là Phạm Nhuệ Giang và con rể là Nguyễn Thanh Vân (con trai đạo diễn, Nghệ sĩ Nhân dân Nguyễn Hải Ninh) đều là đạo diễn điện ảnh.

Đạo diễn Phạm Văn Khoa mất vào ngày 24 tháng 10 năm 1992 tại Hà Nội, hưởng thọ 79 tuổi.